Las extensiones del navegador pueden explotar ChatGPT y Gemini en el ataque "Man in the Prompt"

Se ha identificado un nuevo método de ciberataque, denominado "Man in the Prompt", que permite a actores maliciosos explotar extensiones comunes del navegador para inyectar instrucciones dañinas en herramientas de IA generativa líderes como ChatGPT , Google Gemini y otras. Este hallazgo crucial proviene de un reciente informe de inteligencia de amenazas de la firma de investigación de ciberseguridad LayerX.

Según los investigadores, todo comienza con el funcionamiento de la mayoría de las herramientas de IA en los navegadores web. Sus campos de entrada de solicitudes forman parte de la estructura de la página web (conocida como Modelo de Objetos del Documento o DOM). Esto significa que prácticamente cualquier extensión del navegador con acceso básico a scripts del DOM puede leer o modificar lo que los usuarios escriben en las solicitudes de IA, incluso sin necesidad de permisos especiales.

Los actores maliciosos pueden usar extensiones comprometidas o completamente maliciosas para llevar a cabo diversas actividades dañinas. Estas incluyen manipular la información que el usuario proporciona a la IA, inyectar instrucciones ocultas en secreto, extraer datos confidenciales de las respuestas de la IA o de toda la sesión, e incluso engañar al modelo de IA para que revele información confidencial o realice acciones no deseadas. En esencia, el navegador se convierte en un conducto, permitiendo que la extensión actúe como intermediario en las interacciones con la IA.

El riesgo es significativo porque las herramientas de IA basadas en navegador suelen procesar información confidencial. Los usuarios pueden insertar datos confidenciales de la empresa en estas interfaces, y algunas aplicaciones internas de IA entrenadas con conjuntos de datos propietarios pueden quedar expuestas si las extensiones del navegador interfieren con los campos de solicitud o respuesta o extraen contenido de ellos.

La ubicuidad de las extensiones del navegador, junto con el hecho de que muchas organizaciones permiten su instalación gratuita, significa que una sola extensión vulnerable puede proporcionar a un atacante una vía silenciosa para robar conocimiento corporativo valioso.

El exploit se ha probado en todos los principales LLM comerciales, con demostraciones de concepto para ChatGPT y Google Gemini. Esto implica que, a medida que las organizaciones dependen cada vez más de las herramientas de IA, estos LLM, especialmente aquellos capacitados con información confidencial de la empresa, pueden convertirse en "copilotos de hackers" para robar información corporativa confidencial.

Capa X

LayerX demostró ataques de prueba de concepto contra las principales plataformas. Para ChatGPT, una extensión con permisos mínimos declarados podía inyectar un mensaje, extraer la respuesta de la IA y eliminar el historial de chat de la vista del usuario para reducir la detección.

En el caso de Google Gemini, el ataque aprovechó su integración con Google Workspace. Incluso con la barra lateral de Gemini cerrada, una extensión comprometida podía inyectar avisos para acceder y exfiltrar datos confidenciales del usuario, como correos electrónicos, contactos, contenido de archivos y carpetas compartidas.

LayerX informó a Google sobre esta vulnerabilidad específica de la extensión del navegador. Vea la demostración de este exploit aquí:

Este ataque crea un punto ciego para las herramientas de seguridad tradicionales, como los sistemas de prevención de pérdida de datos (DLP) de endpoints o las puertas de enlace web seguras, ya que carecen de visibilidad de estas interacciones a nivel de DOM. Bloquear las herramientas de IA únicamente por URL tampoco protegerá las implementaciones internas de IA.

LayerX aconseja a las organizaciones ajustar sus estrategias de seguridad para inspeccionar el comportamiento en el navegador. Las recomendaciones clave incluyen la monitorización de las interacciones del DOM dentro de las herramientas de IA para detectar actividad sospechosa, el bloqueo de extensiones de riesgo según su comportamiento en lugar de solo los permisos indicados, y la prevención activa de la manipulación y la exfiltración de datos en tiempo real en la capa del navegador.

Mayank Kumar , ingeniero fundador de IA en DeepTempo, destacó las implicaciones más amplias de este nuevo vector de ataque en su comentario compartido con Hackread.com. «La presión para integrar la IA generativa es real», observó, señalando que las organizaciones adoptan ampliamente modelos como ChatGPT y Gemini para aumentar la productividad. Sin embargo, advirtió que esta rápida adopción está «poniendo a prueba la infraestructura de seguridad construida en la era pre-GenAI».

Kumar enfatizó que ataques como "Man in the Prompt" resaltan la necesidad crucial de replantear la seguridad de las interfaces donde interactúan datos propietarios, herramientas de IA e integraciones de terceros, como las extensiones de navegador. Afirmó: "Los mensajes no son solo texto, son interfaces". Esta nueva realidad implica proteger no solo el modelo de IA, sino todo el recorrido de los datos a través de entornos de navegador potencialmente vulnerables.

Kumar aboga por ir más allá de la protección superficial mediante la implementación de una monitorización de red de capa profunda. Al buscar anomalías en el tráfico de red correlacionadas con las interacciones de las herramientas de IA, las organizaciones pueden detectar actividades sospechosas, como datos inusuales que salen de la red o comunicaciones inesperadas, incluso cuando se ocultan tras indicaciones de IA aparentemente legítimas. Este enfoque por capas, que combina el conocimiento de las aplicaciones con un escrutinio riguroso de la red, es vital para contrarrestar esta nueva ola de ciberamenazas impulsadas por la IA.